Moderne KI-Modelle wie ChatGPT wirken auf den ersten Blick rein softwarebasiert – doch im Hintergrund ist eine enorme Menge spezialisierter Hardware im Einsatz. Dieser Kurs beleuchtet die technischen Grundlagen der Recheninfrastruktur, die große Sprachmodelle antreibt, und erklärt, warum leistungsstarke Chips – insbesondere GPUs – dabei eine zentrale Rolle spielen.
Behandelt werden unter anderem folgende Aspekte:
– Wie lässt sich Rechenleistung messen – und warum sind FLOPS dabei so entscheidend?
– Wie ermöglichen spezialisierte Chips, etwa von Nvidia, das Training großer Modelle in vertretbarer Zeit?
– Was passiert beim Training eines Sprachmodells im Hintergrund mit Milliarden sogenannter Parameter?
Am Beispiel von ChatGPT wird verständlich gemacht, wie Rechenzentren, GPUs und Cloud-Infrastruktur zusammenwirken, um generative KI in der Praxis nutzbar zu machen. Aktuelle Entwicklungen – etwa rund um den „DeepSeek-Moment“ – sowie Herausforderungen wie Ressourcenverbrauch, Energiebedarf und Chip-Knappheit werden ebenfalls diskutiert.